SpecFirst: Behavioral Specification Elicitation as a First-Class Step in Agent-Based Program Synthesis from Scratch
SpecFirst:行为规范提取优先的两阶段从零程序合成框架
🧭 Agent 规范驱动程序合成
Huawei Canada · Queen’s University · University of Manitoba · Concordia University
将需求工程引入LLM Agent,先提取行为规范再合成代码,从零编程通过率提升6.9%-21.3%
📌 工作参考价值(4 点)
- 复杂搜索/推荐策略从零构建时,可引入强制分阶段规范提取:让Agent先通过有限行为试探(如A/B黑盒探查推荐接口的响应规律)输出结构化Spec,再生成策略代码,避免直接编码导致的理解漂移。
- 将行为Oracle思想用于推荐Agent评测:设计黑盒环境(如模拟用户反馈的oracle),迫使Agent先探索行为边界再生成策略,提升策略的鲁棒性。
- 在多步推理任务中应用“规范-实现”解耦:例如,电商搜索Query意图理解与改写,可先让Spec Agent明确意图分类与改写约束,再由Code Agent生成规则或模型调用逻辑。
- 工程化时重视中间产物的稳定性:SpecFirst证明了提前固化的结构化规范能减少后续交互中的误解,在长上下文Agent任务中值得借鉴,如用JSON Schema约束中间输出格式。